Van het oude château de Ville werd voor het eerst melding gemaakt in 832, toen het behoorde aan de abdij van Stavelot.
In de loop der eeuwen kende het Château de Ville vele eigenaars. In de 15de eeuw de bekende familie de la Marck, in 16de eeuw de familie Pallandt en in 17de eeuw Marteau en Pape. Tussen 1675 en 1679 werd er een Spaans garnizoen ondergebracht in het kasteel. Aan het einde van de 17de eeuw werd het kasteel verkocht aan Ernest-Ferdinand Martini, heer van Rollé. In 1768 werd Francois-Joseph de Coinet de Botey heer van My, dat toentertijd behoorde tot het graafschap Durbuy en afhing van het gerechtshof van Wéris. De laatste die vernoemd werd is de familie Lamarche.
In de 19de eeuw heeft het kasteel tal van veranderingen ondergaan, en verkreeg het zijn huidige vorm. Thans doet het Château de Ville, op een immens en mooi park, dienst als internaat van het Atheneum van Durbuy.